Optimal speech motor control and token-to-token variability: a Bayesian modeling approach

International audienceThe remarkable capacity of the speech motor system to adapt to various speech conditions is due to an excess of degrees of freedom, which enables producing similar acoustical properties with different sets of control strategies. To explain how the Central Nervous System selects one of the possible strategies, a common approach, in line with optimal motor control theories, is to model speech motor planning as the solution of an optimality problem based on cost functions. Despite the success of this approach, one of its drawbacks is the intrinsic contradiction between the concept of optimality and the observed experimental intra-speaker token-to-token variability. The present paper proposes an alternative approach by formulating feedforward optimal control in a probabilistic Bayesian modeling framework. This is illustrated by controlling a biomechanical model of the vocal tract for speech production and by comparing it with an existing optimal control model (GEPPETO). The essential elements of this optimal control model are presented first. From them the Bayesian model is constructed in a progressive way. Performance of the Bayesian model is evaluated based on computer simulations and compared to the optimal control model. This approach is shown to be appropriate for solving the speech planning problem while accounting for variability in a principled way

A Bayesian framework for speech motor control

International audienceThe remarkable capacity of the speech motor system to adapt to various speech conditions is due to an excess of degrees of freedom, which enables producing similar acoustical properties with different sets of control strategies. To explain how the Central Nervous System selects one of the possible strategies, a common approach, in line with optimal motor control theories, is to model speech motor planning as the solution of an optimality problem based on cost functions. Despite the success of this approach, one of its drawbacks is the intrinsic contradiction between the concept of optimality and the observed experimental intra-speaker token-to-token variability. The present paper proposes an alternative approach by formulating feedforward optimal control in a probabilistic Bayesian modeling framework. This is illustrated by controlling a biomechanical model of the vocal tract for speech production and by comparing it with an existing optimal control model (GEPPETO). The essential elements of this optimal control model are presented first. From them the Bayesian model is constructed in a progressive way. Performance of the Bayesian model is evaluated based on computer simulations and compared to the optimal control model. This approach is shown to be appropriate for solving the speech planning problem while accounting for variability in a principled way

Modélisation bayésienne de la planification motrice des gestes de parole : Évaluation du rôle des différentes modalités sensorielles

International audienceAn increasing number of experimental results have identified a clear role of auditory and somatosensory information in speech motor control. However, most of the speech production models consider only one of these sensory modalities, or do not provide the possibility to formally evaluate the respective contribution of these modalities. We propose to explore the role of auditory and proprioceptive representations in speech gesture planning, based on a Bayesian model representing the structure of knowledge involved. The model allows to consider three planning mechanisms, based on the auditory or proprioceptive modality or the combination of both. We compare simulations obtained from the two first planning mechanisms. Results indicate differences in the generated articulatory patterns, giving rise however to qualitatively similar patterns of auditory variability.La prise en compte des informations auditives et proprioceptives dans le contrôle de la parole est mise en évidence par un nombre croissant de résultats expérimentaux. Cependant, les modèles de production imposent le plus souvent l'une ou l'autre des modalités, ou n'offrent pas de cadre formel pour évaluer leurs contributions respectives. Nous proposons d'explorer le rôle de ces modalités sensorielles dans la planification des gestes de parole à partir d'un modèle bayésien représentant la structure des connaissances mises en jeu dans cette tâche. Le modèle permet d'envisager trois mécanismes de planification, reposant sur la modalité auditive, proprioceptive ou sur les deux conjointement. Nous comparons des simulations obtenues par les deux premiers mécanismes de planification. Les résultats indiquent des réalisations articulatoires différentes mais donnant néanmoins des réalisations auditives qualitativement similaires dans leur variabilité

Should we consider Dupuytren's contracture as work-related? A review and meta-analysis of an old debate

International audienceABSTRACT: BACKGROUND: In view of the conflicting opinions published, a meta-analysis was undertaken on epidemiological studies in order to assess any association between Dupuytren's contracture and work exposure. METHODS: Using the key words: "occupational disease", "work" and "Dupuytren contracture" without limitation on language or year of publication, epidemiological studies were selected from four databases (Pub-Med, Embase, Web of science, BDSP) after two rounds (valid control group, valid work exposure). A quality assessment list was constructed and used to isolate papers with high quality methodological criteria (scores of 13 or above, HQMC). Relevant associations between manual work, vibration exposure (at work) and Dupuytren's contracture were extracted from the articles and a metarisk calculated using the generic variance approach (meta-odds ratios, meta-OR). RESULTS: From 1951 to 2007, 14 epidemiological studies (including 2 cohort studies, 3 case-control studies, and 9 cross-sectional studies/ population surveys) were included. Two different results could be extracted from five studies (based on different types of exposure), leading to 19 results, 12 for manual work (9 studies), and 7 for vibration exposure (5 studies). Six studies met the HQMC, yielding 9 results, 5 for manual work and 4 for vibration exposure. Five studies found a dose-response relationship. The meta-OR for manual work was 2.02[1.57;2.60] (HQMC studies only: 2.01[1.51;2.66]), and the meta-OR for vibration exposure was 2.88 [1.36;6.07] (HQMC studies only: 2.14[1.59;2.88]). CONCLUSION: These results support the hypothesis of an association between high levels of work exposure (manual work and vibration exposure) and Dupuytren's contracture in certain cases

Bayesian modeling of speech motor planning : variability, multisensory goals and perceptuo-motor interactions

Contexte et objectif:C’est presque une banalité que de dire qu’une des caractéristiques principales de la parole est sa variabilité : variabilité inter-sexe, inter-locuteur, mais aussi variabilité d’un contexte à un autre ou d’une répétition à une autre pour un même sujet. C’est cette variabilité qui fait à la fois la beauté de la parole mais aussi la complexité de son traitement par les technologies vocales, et la difficulté pour en comprendre les mécanismes. Dans cette thèse nous étudions certains aspects de cette variabilité, avec comme point de départ la variabilité observée chez un locuteur dans la répétition d’un même son dans les mêmes conditions, que nous appelons variabilité intrinsèque.Les modèles de contrôle moteur de la parole abordent principalement la variabilité contextuelle de la parole mais prennent rarement en compte sa variabilité intrinsèque, alors même que l’on sait que c’est cette variabilité qui donne à la parole tout son caractère naturel. Dans le contexte général du contrôle moteur, l’origine précise de la variabilité intrinsèque reste peu comprise et controversée. Cependant, une hypothèse courante est que la variabilité intrinsèque serait essentiellement due à du bruit neuronal dans la chaine d’exécution.L’objectif principal de cette thèse est d’aborder la variabilité intrinsèque et contextuelle de la production de la parole dans un cadre formel intégrateur. Pour cela nous faisons l’hypothèse que la variabilité intrinsèque n’est pas que le résultat d’un bruit d’exécution, mais qu’elle résulte aussi d’une stratégie de contrôle où la variabilité inter-répétition fait partie intégrante de la représentation de la tâche.Méthodologie:Nous formalisons cette idée dans un cadre computationnel probabiliste, la modélisation Bayésienne, où l’abondance de réalisations possibles d’un même item de parole est représentée naturellement sous la forme d’incertitudes, et où la variabilité est donc manipulée formellement. Nous illustrons la pertinence de cette approche à travers trois contributions.Résultats:Dans un premier temps, nous reformulons un modèle existant de contrôle optimal de la parole, le modèle GEPPETO, dans le formalisme probabiliste et démontrons que le modèle Bayésien contient GEPPETO comme un cas particulier. En particulier, nous illustrons comment l’approche Bayésienne permet de rendre compte de la variabilité intrinsèque tout en incluant les mêmes principes d’émergence et de structuration de la variabilité contextuelle proposés par GEPPETO.Dans un deuxième temps, le formalisme nous permet de dépasser le cadre de GEPPETO en y intégrant une composante somatosensorielle dans la représentation des buts. Cela permet d’introduire une variabilité interindividuelle sur la préférence sensorielle, c’est-à-dire la modulation des poids relatifs des cibles auditives et somatosensorielles, et permet d’expliquer la variabilité de compensation observée dans les études de perturbation sensorielle. Cette étape a nécessité l’élaboration d’hypothèses sur l’intégration des retours sensoriels dans la planification, dont nous avons cherché à évaluer la pertinence en concevant une expérience originale de production-perception de parole.Dans un troisième temps, nous exploitons le formalisme pour réinterpréter des données expérimentales récentes qui mettent en évidence un changement perceptif consécutif à un apprentissage moteur induit par une altération du retour auditif. Cela est rendu possible grâce à la représentation unifiée des connaissances dans le modèle, qui permet d’intégrer la production et la perception dans un cadre formel unique.L’ensemble de ces travaux illustre la capacité du formalisme Bayésien à proposer une démarche systématique et structurée pour la construction des modèles. Cette démarche facilite le développement des modèles et leur complexification progressive en précisant et explicitant les hypothèses formulées.Context and goal:It is almost a truism to affirm that one of the main features of speech is its variability: variability inter-gender, inter-speaker, but also variability from one context to another, or from one repetition to another for a given subject. Variability underlies at the same time the beauty of speech, the complexity of its treatment by speech technologies, and the difficulty for understanding its mechanism. In this thesis we study certain aspects of speech variability, our starting point being the variability characterizing the repetitions of a given utterance by a given subject, in a given condition, which we call intrinsic variability.Models of speech motor control have mainly focused on the contextual aspects of speech variability, and have rarely considered its intrinsic component, even though it is this fundamental component of variability that gives speech it naturalness. In the general context of motor control, the precise origin of the intrinsic variability of our movements remains controversial and poorly understood, however, a common assumption is that intrinsic variability would mainly originate from neural and muscular noise in the execution chain.The main goal of this thesis is to address the contextual and intrinsic component of speech variability in an integrative computational framework . To this aim, we postulate that the main component of the intrinsic variability of speech is not just execution noise, but that it results from a control strategy where intrinsic variability characterizes the abundance of possible productions of the intended speech item.Methodology:We formalize this idea in a probabilistic computational framework, Bayesian modeling, where the abundance of possible realizations of a given speech item is naturally represented as uncertainty, and where variability is thus formally manipulated. We illustrate the pertinence of this approach with three main contributions.Results:Firstly, we reformulate in Bayesian terms an existing model of speech motor control, the GEPPETO model, and demonstrate that this Bayesian reformulation, which we call B-GEPPETO, contains GEPPETO as a particular case . In particular, we illustrate how the Bayesian approach enables to account for the intrinsic component of speech variability while including the same principles proposed by GEPPETO for the emergence and structuration of its contextual component.Secondly, the Bayesian framework enable us to go beyond and extend B-GEPPETO in order to include a multisensory characterization of speech motor goals, with auditory and somatosensory components. We apply this extension to explore variability in the context of compensations to sensory-motor perturbation in speech production. We account for differences in compensation as sensory preferences implemented by modulating the relative contribution of each sensory modality in the model . The somatosensory characterization of speech motor goals involved a certain number of hypotheses that we intended to evaluate with two experimental studies.Finally, in our third contribution we exploit the formalism for the reinterpretation of recent experimental observations concerning perceptual changes following speech motor adaptation to auditory perturbations. This original analysis is made possible thanks to the unified representation of knowledge in the model, which enables to account for production and perception processes in a single computational framework.Taken together, these contributions illustrate how the Bayesian framework offers a structured and systematic approach for the construction of models in cognitive sciences . The framework facilitates the development of models and their progressive complexification by specifying and clarifying underlying assumptions

Modélisation Bayésienne de planification motrice de la parole : variabilité, buts multisensoriels et intéraction perceptuo-motrices

Context and goal:It is almost a truism to affirm that one of the main features of speech is its variability: variability inter-gender, inter-speaker, but also variability from one context to another, or from one repetition to another for a given subject. Variability underlies at the same time the beauty of speech, the complexity of its treatment by speech technologies, and the difficulty for understanding its mechanism. In this thesis we study certain aspects of speech variability, our starting point being the variability characterizing the repetitions of a given utterance by a given subject, in a given condition, which we call intrinsic variability.Models of speech motor control have mainly focused on the contextual aspects of speech variability, and have rarely considered its intrinsic component, even though it is this fundamental component of variability that gives speech it naturalness. In the general context of motor control, the precise origin of the intrinsic variability of our movements remains controversial and poorly understood, however, a common assumption is that intrinsic variability would mainly originate from neural and muscular noise in the execution chain.The main goal of this thesis is to address the contextual and intrinsic component of speech variability in an integrative computational framework . To this aim, we postulate that the main component of the intrinsic variability of speech is not just execution noise, but that it results from a control strategy where intrinsic variability characterizes the abundance of possible productions of the intended speech item.Methodology:We formalize this idea in a probabilistic computational framework, Bayesian modeling, where the abundance of possible realizations of a given speech item is naturally represented as uncertainty, and where variability is thus formally manipulated. We illustrate the pertinence of this approach with three main contributions.Results:Firstly, we reformulate in Bayesian terms an existing model of speech motor control, the GEPPETO model, and demonstrate that this Bayesian reformulation, which we call B-GEPPETO, contains GEPPETO as a particular case . In particular, we illustrate how the Bayesian approach enables to account for the intrinsic component of speech variability while including the same principles proposed by GEPPETO for the emergence and structuration of its contextual component.Secondly, the Bayesian framework enable us to go beyond and extend B-GEPPETO in order to include a multisensory characterization of speech motor goals, with auditory and somatosensory components. We apply this extension to explore variability in the context of compensations to sensory-motor perturbation in speech production. We account for differences in compensation as sensory preferences implemented by modulating the relative contribution of each sensory modality in the model . The somatosensory characterization of speech motor goals involved a certain number of hypotheses that we intended to evaluate with two experimental studies.Finally, in our third contribution we exploit the formalism for the reinterpretation of recent experimental observations concerning perceptual changes following speech motor adaptation to auditory perturbations. This original analysis is made possible thanks to the unified representation of knowledge in the model, which enables to account for production and perception processes in a single computational framework.Taken together, these contributions illustrate how the Bayesian framework offers a structured and systematic approach for the construction of models in cognitive sciences . The framework facilitates the development of models and their progressive complexification by specifying and clarifying underlying assumptions.Contexte et objectif:C’est presque une banalité que de dire qu’une des caractéristiques principales de la parole est sa variabilité : variabilité inter-sexe, inter-locuteur, mais aussi variabilité d’un contexte à un autre ou d’une répétition à une autre pour un même sujet. C’est cette variabilité qui fait à la fois la beauté de la parole mais aussi la complexité de son traitement par les technologies vocales, et la difficulté pour en comprendre les mécanismes. Dans cette thèse nous étudions certains aspects de cette variabilité, avec comme point de départ la variabilité observée chez un locuteur dans la répétition d’un même son dans les mêmes conditions, que nous appelons variabilité intrinsèque.Les modèles de contrôle moteur de la parole abordent principalement la variabilité contextuelle de la parole mais prennent rarement en compte sa variabilité intrinsèque, alors même que l’on sait que c’est cette variabilité qui donne à la parole tout son caractère naturel. Dans le contexte général du contrôle moteur, l’origine précise de la variabilité intrinsèque reste peu comprise et controversée. Cependant, une hypothèse courante est que la variabilité intrinsèque serait essentiellement due à du bruit neuronal dans la chaine d’exécution.L’objectif principal de cette thèse est d’aborder la variabilité intrinsèque et contextuelle de la production de la parole dans un cadre formel intégrateur. Pour cela nous faisons l’hypothèse que la variabilité intrinsèque n’est pas que le résultat d’un bruit d’exécution, mais qu’elle résulte aussi d’une stratégie de contrôle où la variabilité inter-répétition fait partie intégrante de la représentation de la tâche.Méthodologie:Nous formalisons cette idée dans un cadre computationnel probabiliste, la modélisation Bayésienne, où l’abondance de réalisations possibles d’un même item de parole est représentée naturellement sous la forme d’incertitudes, et où la variabilité est donc manipulée formellement. Nous illustrons la pertinence de cette approche à travers trois contributions.Résultats:Dans un premier temps, nous reformulons un modèle existant de contrôle optimal de la parole, le modèle GEPPETO, dans le formalisme probabiliste et démontrons que le modèle Bayésien contient GEPPETO comme un cas particulier. En particulier, nous illustrons comment l’approche Bayésienne permet de rendre compte de la variabilité intrinsèque tout en incluant les mêmes principes d’émergence et de structuration de la variabilité contextuelle proposés par GEPPETO.Dans un deuxième temps, le formalisme nous permet de dépasser le cadre de GEPPETO en y intégrant une composante somatosensorielle dans la représentation des buts. Cela permet d’introduire une variabilité interindividuelle sur la préférence sensorielle, c’est-à-dire la modulation des poids relatifs des cibles auditives et somatosensorielles, et permet d’expliquer la variabilité de compensation observée dans les études de perturbation sensorielle. Cette étape a nécessité l’élaboration d’hypothèses sur l’intégration des retours sensoriels dans la planification, dont nous avons cherché à évaluer la pertinence en concevant une expérience originale de production-perception de parole.Dans un troisième temps, nous exploitons le formalisme pour réinterpréter des données expérimentales récentes qui mettent en évidence un changement perceptif consécutif à un apprentissage moteur induit par une altération du retour auditif. Cela est rendu possible grâce à la représentation unifiée des connaissances dans le modèle, qui permet d’intégrer la production et la perception dans un cadre formel unique.L’ensemble de ces travaux illustre la capacité du formalisme Bayésien à proposer une démarche systématique et structurée pour la construction des modèles. Cette démarche facilite le développement des modèles et leur complexification progressive en précisant et explicitant les hypothèses formulées

Bayesian Modeling in Speech Motor Control: A Principled Structure for the Integration of Various Constraints

International audienceSpeaking involves sequences of linguistic units that can be produced under different sets of control strategies. For instance, a given phoneme can be achieved with different acoustic properties , and a sequence of phonemes can be performed at different speech rates and with different prosodies. How does the Central Nervous System select a specific control strategy among all the available ones? In a previously published article we proposed a Bayesian model that addressed this question with respect to the multiplicity of acoustic realizations of a sequence of phonemes. One of the strengths of Bayesian modeling is that it is well adapted to the combination of multiple constraints. In the present paper we illustrate this feature by defining an extension of our previous model that includes force constraints related to the level of effort for the production of phoneme sequences , as it could be the case in clear versus casual speech. The integration of this additional constraint is used to model the control of articulation clarity. Pertinence of the results is illustrated by controlling a biomechanical model of the vocal tract for speech production

Modeling sensory preference in speech motor planning: a Bayesian modeling framework

International audienc

Modeling sensory preference in speech motor planning

International audienc

From abstract phonemes to speech movements: the role of orofacial biomechanics and multisensory motor goals.

International audienceIn this talk, we will present some results generated with our generic speech production model GEPPETO, that are consistent with the view that investigating physical realizations of phonological units and understanding how they emerge and evolve requires considering crucial physical properties of the speech production apparatus and key-features of speech motor control. First, using 2D and 3D biomechanical models of the tongue and the face, we will show that movement trajectories and then spectral variations that carry phonological information from the speaker to the listener can be significantly influenced by orofacial biomechanics and the variation of its dynamical behavior across speaking conditions (clarity, speaking rate). Second, using our recently developed Bayesian model of speech production planning, we will show how speech variability patterns are constrained by the nature of the motor goals, depending on whether they are auditory, somatosensory or both. ReferencesPerrier P., Payan Y., Zandipour M. & Perkell J. (2003) Influences of tongue biomechanics on speech movements during the production of velar stop consonants: A modeling study. Journal of the Acoustical Society of America, 114(3), 1582-1599.Buchaillard, S., Perrier, P., & Payan, Y. (2009). A biomechanical model of cardinal vowel production: muscle activations and the impact of gravity on tongue positioning. Journal of the Acoustical Society of America, 126(4), 2033-2051.Nazari, M.A., Perrier, P., Chabanas, M., & Payan, Y. (2011). Shaping by stiffening: a modeling study for lips. Motor control, 15(1), 141-168.Patri, J.F., Diard, J., & Perrier, P. (2015). Optimal speech motor control and token-to-token variability: a Bayesian modeling approach. Biological Cybernetics, 109 (6), 611–626